Сингулярное представление линейного отображения

Пусть $U$ и $V$ - конечномерные пространства со скалярным произведением, $\mathcal{A}\mathpunct {:}~U \to V$, тогда: $$\mathrm{Ker}~ \mathcal{A}^{*} = (\mathrm{Im}~\mathcal{A})^{\perp}$$ $$\mathrm{Im}~ \mathcal{A}^{*} = (\mathrm{Ker}~ \mathcal{A})^{\perp}$$

**Утверждение 1** Покажем, что $\mathrm{Ker}~\mathcal{A^{*}} \subseteq (\mathrm{Im}~\mathcal{A})^{\perp}$ Для любых $y \in \mathrm{\mathrm{Ker}}~\mathcal{A^{*}}$ и $x \in U$: $$(\mathcal{A}x,y) =^{1} (x,\mathcal{A}^{*}y) =^{2} (x, 0) = 0$$ Значит $y \perp \mathcal{A}x \implies y \in (\mathrm{Im}~ \mathcal{A})^{\perp}$ Покажем, что $(\mathrm{Im}~\mathcal{A})^{\perp} \subseteq \mathrm{Ker}~\mathcal{A}^{*}$ Для любых $y \in (\mathrm{Im}~\mathcal{A})^{\perp}$ и $x \in U$: $$(x, \mathcal{A}^{*}y) =^{1} (\mathcal{A}x, y) =^{2} 0$$ Так как $\forall{ x \in U}\mathpunct{:}~~ x \perp \mathcal{A}^{*}y$, то $\mathcal{A}^{*}y \perp \mathcal{A}^{*}y \implies \mathcal{A}^{*}y = 0$, а значит $y \in \mathrm{Ker}~ \mathcal{A}^{*}$ Пояснения: 1 - определение сопряженного оператора 2 - выбор $y$ **Утверждение 2** $$\mathrm{Im}~ \mathcal{A}^{*} = ((\mathrm{Im}~ \mathcal{A}^{*})^{\perp})^{\perp} = (\mathrm{Ker}~ \mathcal{A}^{**})^{\perp} = (\mathrm{Ker}~ \mathcal{A})^{\perp}$$ $\square$

Пусть $\mathcal{A}\mathpunct{:}~ U \to V$, $U_{0} = (\mathrm{Ker}~ \mathcal{A})^{\perp} = \mathrm{Im}~ \mathcal{A}^{*}$, $V_{0} = \mathrm{Im}~ \mathcal{A}$. Тогда $\mathcal{A}|_{U_{0}}$ взаимно однозначно переводит $U_{0}$ в $V_{0}$ Очевидное следствие: $\mathrm{dim}~ U_{0} = \mathrm{dim}~ V_{0}$, т.е. $\mathrm{dim}~ \mathrm{Im}~\mathcal{A}^{*} = \mathrm{dim}~ \mathrm{Im}~ \mathcal{A}$

**Инъективность** Пусть $x_{1}, x_{2} \in U_{0}$ и $\mathcal{A}x_{1} = \mathcal{A}x_{2}$. Тогда $\mathcal{A}(x_{1} - x_{2}) = 0$, а значит: $$\left. \begin{array} \\ x_{1} - x_{2} \in \mathrm{Ker}~ \mathcal{A} \\ x_{1} - x_{2} \in U_{0} = (\mathrm{Ker}~ \mathcal{A})^{\perp} \end{array} \right| \implies x_{1} - x_{2} = 0 \implies x_{1} = x_{2}$$ **Сюръективность** Пусть $z \in V_{0} = \mathrm{Im}~ \mathcal{A}$, тогда по определению $\exists{x \in U}\mathpunct{:}~~ \mathcal{A}x = z$. Ортогонально разложим $x \in U$: $x = x_{0} + x_{1}$, где $x_{0} \in U_{0} = (\mathrm{Ker}~ \mathcal{A})^{\perp}$, $x_{1} \in \mathrm{Ker}~ \mathcal{A}$. Но тогда: $$\mathcal{A}x = \mathcal{A}(x_{0} + x_{1}) = \mathcal{A}x_{0} + \mathcal{A}x_{1} = \mathcal{A}x_{0}$$ А значит $\forall{z \in V_{0}}~~ \exists{x_{0} \in U_{0}}\mathpunct{:}~~ Ax_{0} = z$, что и есть определением сюръективности. $\square$

Для оператора $\mathcal{A}\mathpunct{:}~ U \to V$ оператор $\mathcal{A}\mathcal{A}^{*}$ самосопряжён и имеет неотрицательные вещественные собственные значения.

**Самосопряжённость** $(\mathcal{A}^{*}\mathcal{A}x, y) = (\mathcal{A}x, \mathcal{A}y) = (x, \mathcal{A}^{*}\mathcal{A}y)$ для любых $x,y \in U$ $\implies$ $\mathcal{A}\mathcal{A}^{*} = (\mathcal{A}\mathcal{A}^{*})^*$ **Неотрицательность** Пусть $x$ — собственный вектор с $\lambda$. Тогда: $$(\mathcal{A}^{*}\mathcal{A}x, x) = \lambda (x, x)$$ В то же время: $$(\mathcal{A}^{*}\mathcal{A}x, x) = (\mathcal{A}x, \mathcal{A}x) \geq 0$$ Поскольку $(x,x) > 0$, получаем $\lambda \geq 0$. $\square$

$0$ - собственное значение $\mathcal{A}$ $\iff$ $\mathrm{Ker}~ \mathcal{A} \neq \{0\}$

$\Large\implies$ $v \neq 0$ и $\mathcal{A}v = 0 \cdot v = 0$, а значит $v \in \mathrm{Ker}~ \mathcal{A}$ и $\mathrm{Ker}~ \mathcal{A} \neq \{0\}$ $\Large\impliedby$ $0 \neq v \in \mathrm{Ker}~ \mathcal{A}$, а значит $\mathcal{A}v = 0 = 0 \cdot v$ и $0$ - собственное значение $\mathcal{A}$ $\square$

$\mathrm{Ker}~ \mathcal{A} = \mathrm{Ker}~ \mathcal{A}\mathcal{A}^{*}$

**Включение** $\mathrm{Ker}~ \mathcal{A} \subseteq \mathrm{Ker}~ \mathcal{A}\mathcal{A}^{*}$: Пусть $v \in \mathrm{Ker}~ \mathcal{A}$, то есть $\mathcal{A}v = 0$. Тогда: $$ \mathcal{A}^{*}(\mathcal{A}v) = \mathcal{A}^{*}(0) = 0 \implies v \in \mathrm{Ker}~ \mathcal{A}\mathcal{A}^{*} $$ **Включение** $\mathrm{Ker}~ \mathcal{A}\mathcal{A}^{*} \subseteq \mathrm{Ker}~ \mathcal{A}$: Пусть $v \in \mathrm{Ker}~ \mathcal{A}\mathcal{A}^{*}$, то есть $\mathcal{A}^{*}\mathcal{A}v = 0$. Тогда: $$ 0 = (\mathcal{A}^{*}\mathcal{A}v, v) = (\mathcal{A}v, \mathcal{A}v) \implies \mathcal{A}v = 0 \implies v \in \mathrm{Ker}~ \mathcal{A} $$ $\square$

Пусть $\mathcal{A}\mathpunct{:}~ U \to V$, $U_{0} = (\mathrm{Ker}~ \mathcal{A})^{\perp} = \mathrm{Im}~ \mathcal{A}^{*}$, $V_{0} = (\mathrm{Ker}~ \mathcal{A}^{*})^{\perp} = \mathrm{Im}~ \mathcal{A}$. Из взаимной однозначности: $$\mathrm{Ker}~(\mathcal{A}\mathcal{A}^{*})|_{U_{0}} = \mathrm{Ker}~ \mathcal{A}|_{U_{0}} = \{0\}$$ а значит все собственные числа $\mathcal{A}\mathcal{A}^{*}|_{U_{0}}$ не просто неотрицательны, а положительны. Обозначим их $\sigma_{1}^{2}, \sigma_{2}^{2}, \dots \sigma_{k}^{2}$. $\sigma_{i}$ называют **сингулярными числами** Пусть $u_1, \dots, u_k$ - ОНБ $U_0$ из собственных векторов $\mathcal{A}\mathcal{A}^{*}$: $\mathcal{A}^*\mathcal{A}u_j = \sigma_j^2 u_j$ Векторы $u = \{u_{1}, \dots, u_{k}\}$ называют **левыми сингулярными векторами** Определим векторы $v_j \in V$: $$ v_j = \dfrac{1}{\sigma_j} \mathcal{A}u_j $$ Векторы ${} v = \{v_{1}, \dots, v_{k}\}$ называют **правыми сингулярными векторами**. Так как $\mathrm{dim}~ U_{0} = \mathrm{dim}~ V_{0}$, заметим, что правые сингулярные векторы образуют ОНБ: $$ (v_i, v_j) = \dfrac{1}{\sigma_i \sigma_j} (\mathcal{A}u_i, \mathcal{A}u_j) = \dfrac{1}{\sigma_i \sigma_j} (u_i, \mathcal{A}^*\mathcal{A}u_j) = \dfrac{\sigma_{j}^{2}}{\sigma_i \sigma_j} (u_i, u_j) = \delta_{ij} $$ где $\delta_{ij}$ - символ Кронекера. Значит: $$[A|_{U_{0}}] = \begin{pmatrix} \sigma_{1} & 0 & \dots & 0 \\ 0 & \sigma_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \sigma_{k} \end{pmatrix}$$

Для линейного оператора $\mathcal{A}: U \to V$ существуют ОНБ в $U$ и $V$, в которых матрица $\mathcal{A}$ имеет блочно-диагональный вид: $$ [\mathcal{A}] = \begin{pmatrix} D & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}, \quad D = \begin{pmatrix} \sigma_{1} & 0 & \dots & 0 \\ 0 & \sigma_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \sigma_{k} \end{pmatrix} $$ где $\mathbf{0}$ - нулевые блоки, а $\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_k > 0$ — сингулярные числа $\mathcal{A}$, определённые однозначно.

По построению из **Наблюдения**: 1. $U_0 = (\mathrm{Ker}~ \mathcal{A})^\perp$ имеет ОНБ $\{u_i\}$ из собственных векторов $\mathcal{A}\mathcal{A}^*$ 2. Векторы $v_j = \dfrac{1}{\sigma_j} \mathcal{A}u_j$ образуют ОНБ в $V_0 = \mathrm{Im}~\mathcal{A}$. 3. Матрица ограничения $\mathcal{A}|_{U_0}$ в базисах $\{u_i\}$, $\{v_i\}$: $[\mathcal{A}|_{U_0}] = \mathrm{diag}(\sigma_1,\dots,\sigma_k)$. Так как $U = U_{0} \oplus {U_{0}}^{\perp}$, дополним ОНБ $U_{0}$ ортонормированным базисом ${U_{0}}^{\perp} = \mathrm{Ker}~ \mathcal{A}$. Аналогично дополним $V_{0}$ с помощью $\mathrm{Ker}~ \mathcal{A}^{*}$. В этих базисах матрица $\mathcal{A}$ принимает указанный вид. **Единственность $\sigma_i$:** Пусть: - $[\mathcal{A}]_{uv} = \Sigma \implies [\mathcal{A}^{*}]_{uv} = {\Sigma}^{T}$ - $[\mathcal{A}]_{u'v'} = \Sigma' \implies [\mathcal{A}^{*}]_{u'v'} = {\Sigma ^{'}}^{T}$ $$[\mathcal{A}\mathcal{A}^{*}]_{uv} = {\Sigma}^{T}\Sigma = \begin{pmatrix} \sigma_{1}^{2} & 0 & \dots & 0 & 0 & \dots \\ 0 & \sigma_{2}^{2} & \dots & 0 & 0 & \dots \\ \vdots & \vdots & \ddots & \vdots & \vdots & \dots \\ 0 & 0 & \dots & \sigma_{k}^{2} & 0 & \dots \\ 0 & 0 & \dots & 0 & 0 & \dots \\ \vdots & \vdots & \dots & \vdots & \vdots & \ddots \end{pmatrix}$$ Аналогично для $[\mathcal{A}\mathcal{A}^{*}]_{u'v'}$ (но с ${\sigma_{i}}'$). Из строения самосопряжённого оператора знаем, что на диагонали в полученной матрице стоят собственные числа, а значит $\sigma_{i} = {\sigma_{i}}'$ и $\sigma_{i}$ определено однозначно. $\square$

Для матрицы $A \in M_{m \times n}(\mathbb{R})$ существуют ортогональные $U \in M_{m \times m}(\mathbb{R})$ и $V \in M_{n \times n}(\mathbb{R})$ такие, что: $$ A = U \Sigma V^{T} $$ где $\Sigma \in M_{m \times n}(\mathbb{R})$ — блочно-диагональная матрица: $$ \Sigma = \begin{pmatrix} D & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{pmatrix}, \quad D = \mathrm{diag}(\sigma_1, \sigma_2, \dots, \sigma_k) $$ с сингулярными числами $\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_k > 0$.

Рассмотрим оператор $\mathcal{A}: \mathbb{R}^n \to \mathbb{R}^m$ с матрицей $A$ в стандартных базисах. По теореме о сингулярном разложении оператора существуют ОНБ $\{v_j\}$ в $\mathbb{R}^n$ и $\{u_i\}$ в $\mathbb{R}^m$ такие, что матрица $\mathcal{A}$ в этих базисах есть $\Sigma$. Пусть $U$ и $V$ — матрицы перехода к $\{u_i\}$ и $\{v_j\}$ соответственно. Так как базисы ортонормированы, $U$ и $V$ ортогональны, поэтому: $$ A = U\Sigma V^{-1} = U \Sigma V^{T} $$ $\square$